Katsekäyttäytyminen ja liikkuvan tekstin kielellinen prosessointi kirjoitustulkkauksessa

Print interpreting is a form of communication that allows deaf and hard of hearing people to get access to speech. We carried out an eye tracking experiment where twenty participants read print interpreted text presented dynamically on a computer screen. We compared regression landing points on reread words between two dynamic text presentation formats: letter-by-letter and word-by-word. Then we investigated the gaze behaviour from a linguistic point of view in order to discover whether the dynamic presentation has an effect on linguistic factors. In particular, we have examined the parts of speech of the first and the second landing points of regressions. The findings suggest significant difference between the presentation formats. There is also a relationship between the gaze behaviour and the linguistic processing of dynamic text. Being conscious of this lexical hierarchy may help to develop supporting print interpreting tools and consequently may also help print interpreters to improve the presentation of dynamic text to the user.Peer reviewe

The Effect of Different Text Presentation Formats on Eye Movement Metrics in Reading

Eye movement data were collected and analyzed from 16 participants while they read text from a computer screen. Several text presentation formats were compared, including sentences as part of a full paragraph, sentences presented one by one, sentences presented in chunks of at most 30 characters at a predefined rate, and line-by-line presentation fitting the width of the computer screen. The goal of the experiment was to study how these different text presentation modes affect eye movement metrics (fixation duration, fixations per minute, regressions, etc.). One-way repeated measures ANOVA revealed that differences in presentation format have a significant effect on fixation duration, number of fixations per minute, and number of regressions

Silmänliikkeet luettaessa näytöllä dynaamisesti esitettävää tekstiä erilaisissa tilanteissa ja eri esitystavoilla

Sähköisessä muodossa olevan tekstin lukeminen on nykyisin arkipäivää. Tekstejä luetaan tietokonenäytön lisäksi monilta erikokoisilta näytöiltä, kuten tableteista, älypuhelimista ja älykelloista. Näiden pienten näyttöjen lisäksi tekstiä luetaan myös suuremmilta, seinälle projisoiduilta pinnoilta. Lukuprosessia voidaan tutkia silmänliikekameroiden avulla. Monissa aiemmissa tutkimuksissa on osoitettu, että silmänliikkeet heijastavat lukemisen aikana tapahtuvaa kognitiivista prosessointia. Tämä väitöstutkimus jatkaa lukuprosessin tutkimusperinnettä tilanteessa, jossa luettava teksti ei ole esillä kokonaisuudessaan, vaan se ilmestyy näytölle vaiheittain, joko ohjelmallisesti tai ihmisen tuottamana käännös- ja tulkitsemistilanteissa. Väitöskirjassa esitetään tulokset neljässä eri tilanteessa toteutetuista tutkimuksista. Mitä pienemmältä näytöltä tekstiä luetaan, sitä pienempi osa tekstistä mahtuu näytölle kerrallaan. Työn kokeellisissa tutkimuksissa havaittiin, että mitä lyhemmissä osissa teksti esitettiin, sitä hitaammin lukijan silmät etenivät tekstissä, ja sitä pidempään kesti tekstin yksittäisten osien prosessointi. Yksi tutkituista ympäristöistä oli kirjoitustulkkaus, jossa tulkki kirjoittaa puhujan tekstin reaaliajassa tietokoneelle kuulovammaista yleisöä varten. Normaali kirjoitustulkkeen esitysmuoto on, että se ilmestyy näkyviin merkki kerrallaan samaan tahtiin kuin kirjoitustulkki tuottaa tekstin. Työssä tutkittiin, miten lukemiseen vaikuttaa jos tulkin käytössä on ohjelmisto, joka tuottaakin tekstin sana kerrallaan eikä kirjain kerrallaan. Tämän esitystavan havaittiin kasvattavan hyppäyksiä lukemaan uudelleen aiempaa tekstiä. Lingvistinen analyysi osoitti, että paluukohteet eivät olleet satunnaisia, vaan enimmäkseen merkityksellisiä sanoja, jotka auttoivat ymmärtämään tekstin keskeisen sisällön. Silmänliikekameraa voidaan käyttää lukutapahtuman analysoinnin lisäksi myös lukemisen avustuksessa. Työssä kehitettiin ohjelma, joka alkaa automaattisesti vierittää tekstiä näytöllä, kun katse lähestyy näytön alareunaa. Kokeissa havaittiin, että automaattinen vieritys ei häirinnyt lukijaa, vaan päinvastoin johti tasaisempaan etenemiseen. Väitöskirjan tulokset antavat uutta tietoa toistaiseksi vain vähän tutkituista lukemistilanteista. Lisäksi sen tuloksilla on merkitystä kehitettäessä työkaluja mm. kirjoitustulkeille ja kääntäjille.Reading electronic text from the screen is nowadays a part of everyday life. Due to rapid development of technology, reading is not restricted only to standard computer monitors; rather we read text from screens of different size, such as tablets, mobile or smart phones, and smart watches. In addition to the small displays, text is also read from bigger surfaces such as projected on the wall. It is possible to examine the reading process by recording our eye movements using an eye tracker. A number of early studies have shown that eye movements can reflect our cognitive process that take place during reading. This dissertation continues eye movement studies when the text is read in various circumstances like in translation and in interpretation. Moreover, eye movements in reading long text using an automatic scrolling technique controlled by gaze are explored. Usually, in the small screen devices, only part of the text is visible at a time. Results of the eye tracking experiments showed that reading small pieces of text produced longer times to process the text compared to reading larger pieces of text. One of the research areas consisted of reading print interpreted text where an interpreter writes the spoken utterances of the speaker on the computer in real time for hearing disabled people. In print interpretation, the text usually appears on the screen dynamically as it is being typed by the interpreter. In this work it was studied how it will affect reading if the interpreter uses software which produces the interpreted text one word at a time instead of a single letter. In this manner, it was found that eyes jumped backward more to reread the earlier text. Linguistic analysis showed that the backward jumps to the previous text were mostly not random; rather they were often used to understand the central meaning of the text. In addition, eye tracking can be used to aid the reading process. This dissertation explored an automatic scrolling technique in reading controlled by eye movements. When eyes move to a lower part of the screen, the screen starts to scroll up to bring the text into view. In the experiment, it was noticed that the automatic scrolling did not disturb the reading process; rather it allowed progress in reading. Results of this dissertation can provide useful information in reading text in diverse conditions where little research has been conducted. It can also contribute significantly in generating different tools to aid reading, such as tools for interpretation and translation

Silmänliikkeet luettaessa näytöllä dynaamisesti esitettävää tekstiä erilaisissa tilanteissa ja eri esitystavoilla

Sähköisessä muodossa olevan tekstin lukeminen on nykyisin arkipäivää. Tekstejä luetaan tietokonenäytön lisäksi monilta erikokoisilta näytöiltä, kuten tableteista, älypuhelimista ja älykelloista. Näiden pienten näyttöjen lisäksi tekstiä luetaan myös suuremmilta, seinälle projisoiduilta pinnoilta. Lukuprosessia voidaan tutkia silmänliikekameroiden avulla. Monissa aiemmissa tutkimuksissa on osoitettu, että silmänliikkeet heijastavat lukemisen aikana tapahtuvaa kognitiivista prosessointia. Tämä väitöstutkimus jatkaa lukuprosessin tutkimusperinnettä tilanteessa, jossa luettava teksti ei ole esillä kokonaisuudessaan, vaan se ilmestyy näytölle vaiheittain, joko ohjelmallisesti tai ihmisen tuottamana käännös- ja tulkitsemistilanteissa. Väitöskirjassa esitetään tulokset neljässä eri tilanteessa toteutetuista tutkimuksista. Mitä pienemmältä näytöltä tekstiä luetaan, sitä pienempi osa tekstistä mahtuu näytölle kerrallaan. Työn kokeellisissa tutkimuksissa havaittiin, että mitä lyhemmissä osissa teksti esitettiin, sitä hitaammin lukijan silmät etenivät tekstissä, ja sitä pidempään kesti tekstin yksittäisten osien prosessointi. Yksi tutkituista ympäristöistä oli kirjoitustulkkaus, jossa tulkki kirjoittaa puhujan tekstin reaaliajassa tietokoneelle kuulovammaista yleisöä varten. Normaali kirjoitustulkkeen esitysmuoto on, että se ilmestyy näkyviin merkki kerrallaan samaan tahtiin kuin kirjoitustulkki tuottaa tekstin. Työssä tutkittiin, miten lukemiseen vaikuttaa jos tulkin käytössä on ohjelmisto, joka tuottaakin tekstin sana kerrallaan eikä kirjain kerrallaan. Tämän esitystavan havaittiin kasvattavan hyppäyksiä lukemaan uudelleen aiempaa tekstiä. Lingvistinen analyysi osoitti, että paluukohteet eivät olleet satunnaisia, vaan enimmäkseen merkityksellisiä sanoja, jotka auttoivat ymmärtämään tekstin keskeisen sisällön. Silmänliikekameraa voidaan käyttää lukutapahtuman analysoinnin lisäksi myös lukemisen avustuksessa. Työssä kehitettiin ohjelma, joka alkaa automaattisesti vierittää tekstiä näytöllä, kun katse lähestyy näytön alareunaa. Kokeissa havaittiin, että automaattinen vieritys ei häirinnyt lukijaa, vaan päinvastoin johti tasaisempaan etenemiseen. Väitöskirjan tulokset antavat uutta tietoa toistaiseksi vain vähän tutkituista lukemistilanteista. Lisäksi sen tuloksilla on merkitystä kehitettäessä työkaluja mm. kirjoitustulkeille ja kääntäjille.Reading electronic text from the screen is nowadays a part of everyday life. Due to rapid development of technology, reading is not restricted only to standard computer monitors; rather we read text from screens of different size, such as tablets, mobile or smart phones, and smart watches. In addition to the small displays, text is also read from bigger surfaces such as projected on the wall. It is possible to examine the reading process by recording our eye movements using an eye tracker. A number of early studies have shown that eye movements can reflect our cognitive process that take place during reading. This dissertation continues eye movement studies when the text is read in various circumstances like in translation and in interpretation. Moreover, eye movements in reading long text using an automatic scrolling technique controlled by gaze are explored. Usually, in the small screen devices, only part of the text is visible at a time. Results of the eye tracking experiments showed that reading small pieces of text produced longer times to process the text compared to reading larger pieces of text. One of the research areas consisted of reading print interpreted text where an interpreter writes the spoken utterances of the speaker on the computer in real time for hearing disabled people. In print interpretation, the text usually appears on the screen dynamically as it is being typed by the interpreter. In this work it was studied how it will affect reading if the interpreter uses software which produces the interpreted text one word at a time instead of a single letter. In this manner, it was found that eyes jumped backward more to reread the earlier text. Linguistic analysis showed that the backward jumps to the previous text were mostly not random; rather they were often used to understand the central meaning of the text. In addition, eye tracking can be used to aid the reading process. This dissertation explored an automatic scrolling technique in reading controlled by eye movements. When eyes move to a lower part of the screen, the screen starts to scroll up to bring the text into view. In the experiment, it was noticed that the automatic scrolling did not disturb the reading process; rather it allowed progress in reading. Results of this dissertation can provide useful information in reading text in diverse conditions where little research has been conducted. It can also contribute significantly in generating different tools to aid reading, such as tools for interpretation and translation

A Hybrid Dependable Deep Feature Extraction and Ensemble-Based Machine Learning Approach for Breast Cancer Detection

Breast cancer is a prevalent and life-threatening disease that requires effective detection and diagnosis methods to improve patient outcomes. Deep learning (DL) and machine learning (ML) techniques have emerged as powerful tools in breast cancer detection, offering benefits such as improved accuracy and efficiency. However, existing methods have scalability and performance limitations, emphasizing the need for further research. In this paper, we propose a hybrid dependable breast cancer detection approach that combines the power of DL using a pre-trained ResNet50V2 model and ensemble-based ML methods. The integration of DL enables the approach to learn and extract hidden patterns from complex breast cancer images, while ML algorithms contribute interpretability and generalization capabilities. We conducted extensive experiments using a breast histopathology image-based publicly available Invasive Ductal Carcinoma (IDC) dataset comprising samples of different sizes. The results obtained from our rigorous experiments provide compelling evidence for our hybrid model’s robustness and high performance. We achieved a higher accuracy rate of 95%, precision of 94.86%, recall of 94.32%, and F1 score of 94.57% compared to state-of-the-art models. We also identified Light Boosting Classifier (LGB) as the most suitable ML model in conjunction with the ResNet50V2 architecture. The results of this research offer significant contributions to breast cancer detection through an innovative approach, comprehensive performance analysis, and dependable assessment. Moreover, it has the potential to assist medical professionals in making informed decisions, improving patient care, and enhancing outcomes for breast cancer patients

Towards Deeper Understanding of How People Perceive Design

Studying how people look at a product is important for understanding human interpretation of design products. This research studies the perception of design products by using eye tracking technology and applying established usability research methods. The gaze path analysis shows that people look at the same product differently depending on their motivation. Our initial findings suggest that people have at least three different first impression perception strategies - narrow, holistic and combined strategy. New knowledge of how people perceive products may help designers in presenting their ideas and in completing the designs

Cyberbullying detection on social networks using machine learning approaches

The use of social media has grown exponentially over time with the growth of the Internet and has become the most influential networking platform in the 21st century. However, the enhancement of social connectivity often creates negative impacts on society that contribute to a couple of bad phenomena such as online abuse, harassment cyberbullying, cybercrime and online trolling. Cyberbullying frequently leads to serious mental and physical distress, particularly for women and children, and even sometimes force them to attempt suicide. Online harassment attracts attention due to its strong negative social impact. Many incidents have recently occurred worldwide due to online harassment, such as sharing private chats, rumours, and sexual remarks. Therefore, the identification of bullying text or message on social media has gained a growing amount of attention among researchers. The purpose of this research is to design and develop an effective technique to detect online abusive and bullying messages by merging natural language processing and machine learning. Two distinct freatures, namely Bag-of Words (BoW) and term frequency-inverse text frequency (TFIDF), are used to analyse the accuracy level of four distinct machine learning algorithms. © 2020 IEEE